Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence
从单查询通过合成成对证据演化评分标准
🧭 LLM评估 · 查询到评分表自动演化
National University of Singapore · Xiaohongshu Inc. · Zhejiang University · Peking University · Shanghai University of Finance and Economics
提出仅依赖查询通过合成成对证据自动演化出有效检验标准的框架，无需外部标注或训练。
📌 工作参考价值（4 点）
- 可复用其筛选机制（非判别性、过度具体、仅风格项）自动构建推荐/Agent输出评估标准，减少人工设计成本。
- 合成成对证据的方法可迁移至电商搜索建议、商品描述生成等场景的评估，通过LLM自我对抗生成偏好对来验证评分维度的有效性。
- 无需人工标注的特性适合快速迭代的推荐系统评估，用于监控在线生成的回答质量或作为Reward Model的轻量替代。
- 演化式构建评分表的思路可启发生成式推荐的自动元评估，例如逐步添加描述商品推荐理由的检查项。